World Model Self-Distillation: Training World Models to Solve General Tasks
世界模型自蒸馏：无需任务标注训练指令跟随视频智能体
🧭 世界模型 · 自蒸馏 · 强化学习 ★ 深度解读
Department of Computer Science, University of Bern
通过自蒸馏将详细描述知识迁移到简洁指令模型，并结合VLM反馈RL超越教师
📌 工作参考价值（4 点）
- 自蒸馏思路：用大模型生成丰富描述（如推荐理由、多模态内容），将其蒸馏到轻量指令跟随模型，降低线上成本。在电商文案生成或对话Agent中可复现。
- VLM弱奖励+RL：利用VLM作为零样本评估器为生成结果打分，指导强化学习迭代，避免人工标注。适用于推荐解释、搜索query改写等生成任务。
- 蒸馏奖励与任务奖励混合：用教师模型提供密度正则化，防止RL策略崩溃，这一平衡技巧可迁移到基于LLM的推荐策略优化。
- 数据生成范式：用VLM从未标注图像自动产出任务-解方案对，类似用LLM从用户行为日志生成训练样本，缓解语义ID生成或交互推荐中的数据稀缺。